Thành phố là điểm kết thúc của tuyến đường sắt Bắc Nam do Tổng công ty Đường sắt Việt Nam (VNR) điều hành và hoạt động. Trong thành phố có hai nhà ga chính: Sóng Thần và Sài Gòn. Bên cạnh đó còn có một số nhà ga nhỏ như Dĩ An, Thủ Đức, Bình Triệu, Gò Vấp. Do mạng lưới đường sắt không được nối trực tiếp với các cảng, cơ sở đã cũ kỹ nên giao thông đường sắt Thành phố Hồ Chí Minh không phát triển, chỉ chiếm khoảng 6% khối lượng hàng hóa và 0,6% khối lượng hành khách. Hiện tại, đường ray đi thẳng vào trung tâm thành phố qua nhiều điểm giao cắt.

Về dịch vụ vận tải hành khách, tàu hỏa từ Ga Sài Gòn đi Hà Nội chạy theo 3 phương thức chính: tàu nhanh (SE) chỉ ghé các ga lớn trên lộ trình, tàu chậm (TN) ghé hầu hết các ga lớn và nhỏ trên lộ trình, và tàu địa phương kết thúc ở các ga tỉnh.

Sau vụ sập cầu Ghềnh trên sông Đồng Nai ngày 20 tháng 3 năm 2016, tuyến đường sắt từ Thành phố đến Biên Hòa bị gián đoạn. Trong thời gian sửa chữa và xây mới cầu, khách bị tạm thời trung chuyển bằng ô tô từ Ga Sóng Thần đến Ga Biên Hòa. Ngoài ra, trong khoảng 15 tháng 4 đến 26 tháng 6, Đường sắt Việt Nam cho thí điểm chạy tàu ngoại ô từ Sài Gòn đến Dĩ An, ghé các ga nhỏ trên tuyến. Lượng khách tàu ngoại ô bình quân 2.075 khách/ngày, ngày cao nhất lên tới 6.500 khách.[8]